Изследователите разработват нов метод за предотвратяване на AI от халюцинации, според ново проучване

Изследователите разгледаха способ, който може да планува по кое време текстов модел с изкуствен интелект (AI) има възможност да „ халюцинира “, съгласно ново изследване.

Метод, създаден от екип от откриватели от Оксфорд, може да попречи на AI моделите да вършат „ конфабулации “, които са избран вид халюцинации или неакуратен отговор, съгласно ново изследване. 

С продължаването на шума за генеративния изкуствен интелект (genAI) се усилиха рецензиите във връзка с халюцинациите на моделите на AI. Това са правдоподобно звучащи подправени резултати от огромни езикови модели (LLM) като GPT на OpenAI или Claude на Anthropic. 

Тези халюцинации могат да бъдат изключително проблематични, когато става дума за области като медицина, вести или правни въпроси.

„ „ Халюцинации “ е доста необятна категория, която може да значи съвсем всевъзможен тип на огромен езиков модел е погрешен. Искаме да се съсредоточим върху случаите, в които LLM бърка без причина (за разлика от неверното, тъй като да вземем за пример е подготвено с неприятни данни) “, сподели пред Euronews доктор Себастиан Фаркухар от катедрата по компютърни науки на Оксфордския университет. След това.

„ С предходните подходи не беше допустимо да се направи разлика сред модел, който не е сигурен по отношение на това какво да каже, по отношение на това, че е нерешителен по отношение на това по какъв начин да го каже. Но нашият нов способ преодолява това “, добави той в изказване за изследването, оповестено през днешния ден в списанието.

„ Получаването на отговори от LLM е на ниска цена, само че надеждността е най-голямото усложнение “

Методът работи посредством премерване на несигурността или променливостта в смисъла на резултатите посредством семантична ентропия.

Той преглежда несигурността в смислите на отговорите, а освен последователността от думи.

Например, в случай че на даден езиков модел бъде заложен въпрос и той генерира няколко вероятни отговора, семантичната ентропия ще мери какъв брой разнообразни тези отговори са във връзка с тяхното значение. 

Ентропията е ниска, в случай че смислите са доста сходни, което демонстрира висока степен на доверие в планувания смисъл. Ако смислите са доста разнообразни, ентропията е висока, което демонстрира неустановеност по отношение на вярното значение.

„ Когато LLM генерира отговор на въпрос, вие го карате да отговори няколко пъти. След това сравнявате другите отговори между тях “, сподели Фаркухар.

„ В предишното хората не са коригирали обстоятелството, че в естествения език има доста разнообразни способи да се каже едно и също нещо. Това е друго от доста други обстановки на машинно образование, при които резултатите от модела са недвусмислени “, добави той.

При тестване на шест LLM (включително GPT-4 и LLaMA 2), този нов способ беше по-добър от другите в забелязване на въпроси, извлечени от търсения с Гугъл, механически биомедицински въпроси и математически проблеми, които е евентуално да доведат до погрешни отговори.

Методът обаче изисква повече изчислителни запаси спрямо елементарното генериране на текст.

„ Получаването на отговори от LLM е на ниска цена, само че надеждността е най-голямото усложнение. В обстановки, в които надеждността има значение, изчислителната семантична неустановеност е дребна цена за заплащане “, сподели професор Ярин Гал, старши създател на проучването. 

Халюцинациите са една от главните рецензии против LLMs. Гугъл неотдавна изключи новата си функционалност за обзор на AI, откакто се сблъска с отрицателна реакция по отношение на подвеждащи отговори.